Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning
超越统一 token 级信任区域的 LLM 强化学习
🧭 推理强化学习 · 信任区域 ★ 深度解读
Tencent Hunyuan
提出 CPPO，通过位置加权与累计前缀预算的 token 掩码，使信任区域匹配自回归结构，显著提升推理 RL 的稳定性和准确率。
📌 工作参考价值（4 点）
- 位置感知的信任区域分配：在 LLM 强化训练中，不应使用统一的 token 级阈值。可以对早期 token 施加更严格的约束，后期放松，权重可采用线性递减调度（如从 1 到 w_min）。这在长序列生成任务（如多轮 Agent 对话、推荐解释文本）中特别有用，可防止早期偏差扩散。
- 累计前缀预算机制：不要独立评估每个 token 的散度，而是跟踪加权前缀平均散度，一旦累积超过阈值就动态收紧后续 token 的允许散度。此方法可作为 drop-in 掩码直接嵌入现有 PPO/GRPO 训练流程，无需修改损失函数或优势计算。
- 通用性：方法不依赖特定的散度估计（TV/KL 均可），且与不同的 token 级散度近似（Top-K、Binary）兼容。适用于电商场景中的商品描述生成、对话策略优化、生成式推荐序列建模等需要 RL 微调的场合。
- 自适应阈值设置：在基础模型训练初期，可采用基于序列自身散度分位数的自适应 δ_b，避免过度裁剪早期探索。稳定后切换为固定阈值，平衡探索与稳定。